基础软件国产化：不能光说，还要做 ——《时空轨迹大数据处理与分析系统》（一期）面世了
2017年11月30日，完全底层开发的《时空轨迹大数据处理与分析系统》雏形诞生，至2019年5月6日，完成最后一次软件更新发布，目前，仍然可下载可使用。之后，攻城狮暂时停止了对此软件的改进，而是转向完善该工具基于的底层GIS控件。今天，我们回过头了，在更完善的底层GIS控件“XGIS”的基础上，重写《时空轨迹大数据处理与分析系统》，完成了该软件的第一期开发工作。现在，我们的底层控件“XGIS”的体量已经从600KB增加到1825KB，虽然增长了两倍，但仍然可以算的上小巧。初心不变，做中国人自己的软件，让普通人也能玩得动GIS、大数据。
简介
时空轨迹大数据的一个共同特征就是数据中的每项或大多数记录除了包含描述对象的属性信息之外，还带有时空标签，保存了该对象在特定时间的空间位置，因此，其可被称为“轨迹数据”。
当可采集的移动对象数量较大时，则称之为“时空轨迹大数据”。
利用已有的轨迹大数据，很多学者在城市地理学、交通地理学、时间地理学、健康地理学等领域都开展了大量的研究和应用工作。
比如出租车轨迹数据，其在每个城市都已经成为实实在在保有的重要分析源，它在客观上反应了城市每日的动态变化。
来自交通、城市规划、商业分析等领域的研究者对此喜爱有加。
然而，他们却往往不具备处理如此巨大数据量的能力，因为，通常，在这样的大数据面前，常规的数据管理和分析方法，比如Excel、SQL Server等是低效或者是无效的。流行的大数据处理工具或平台虽然已相当成熟，如Hadoop，MapReduce，HBase，Spark等，但搭建起来举步维艰，而且，要将其定制成面向时空轨迹大数据的工具也似乎颇费周折。
这是我们开发这个软件的初衷。我们希望提供一个有针对性的、小巧的、高效的数据分析工具，于是，它诞生了。目前，它的体量小于3MB，包含所有的程序文件。
利用该工具，用户可以以一种我们认为非常便捷和易于理解的方式从多个维度对数据进行探索性分析。比如，我们可以发现任意车辆在任意时刻的位置、在任意时段的轨迹、任意时刻或时段载客行程的空间分布、任意起止点在任意时刻或时段的目的地或客源地等等（属分析部分的功能尚在搬移过程中）。
特别提醒
该软件包括“处理”和“分析”两部分，目前，在新版软件中，我们已经完成了“处理”部分，而“分析”部分的功能尚在搬移过程中，对于需要“分析”功能的用户可暂时使用旧版软件，但两者数据是无法共享的。
请持续关注“大数据攻城狮”，软件二期（“分析”部分）将择日发布！
运行环境
本系统需要运行在Windows操作系统下，运行时，它可能要求你下载“.net Framework”，不必担心，只要按照提示进行即可。通常，此系统会是一个64位的应用程序，当然，如果用户的电脑及操作系统仅支持32位，那么请致信bigdatalion@yeah.net，软件作者会尝试生成一个32位的程序。但是显然，32位应用程序的数据量适用性会远低于64位应用程序。
使用方法
首先，请按照后文介绍的方法下载软件，运行后的主界面如下：
原始轨迹数据通常数据量很大，字段繁多，动辄几GB，对其事先进行处理是数据有效应用的前提。目前，软件已完成了左侧“处理”部分的四项功能。
轨迹数据的处理包含以下三个步骤：
理清轨迹数据含义：搞清楚每个字段到底代表什么含义。
提取移动对象标识：搞清数据中到底包含哪些移动对象。
排序原始轨迹数据：按照对象标识和采集时间，重新排序原有数据，同时完成数据清洗工作。
在旧版软件中，我们把上述步骤混为一个功能，有利有弊，建议用户在使用中体会。
理清轨迹数据含义
在此界面下，用户可以打开原始轨迹数据（文本文件），看到部分样本数据，设定结构参数，为相关字段完成匹配指定。
完成上述字段设定后，可点击“验证”，检查设定的合理性。
如设定合理，可点击“保存”，留作后用。
针对之前的数据结构描述文件，可以点击“打开”，实现查看和编辑。
轨迹数据结构描述文件的扩展名是“.rds”。
提取移动对象标识
此功能看起来很简单，同样打开原始轨迹数据以及对应的数据结构描述文件，然后选择并行线程数量（如果电脑不错，可选择四线程或八线程），最后，点击“提取”，完成对象识别。
该项操作可能有一定耗时，针对10GB的轨迹数据文件，恐需要几分钟时间。
移动对象标识文件的扩展名是“.oid”。
排序原始轨迹数据
同样，打开原始轨迹数据文件、数据结构描述文件及移动对象标识文件，设定并行线程数量、时间跨度（可以接受默认的设定或选择特定时段）及坐标转换选项。然后，点击“排序”，完成数据排序工作。
该项操作可能有一定耗时，针对10GB的轨迹数据文件，恐需要几分钟时间。
轨迹数据排序文件的扩展名是“.sdf”，这就是我们最后需要的文件！
现在我们可以开始可视化这个sdf文件了
点击主界面的“4”，然后打开生成的sdf文件，得到如下界面：
这应该是个相当简洁的原始轨迹数据浏览工具，左侧为移动对象标识列表，选中一个或多个移动对象后，其轨迹将显示在地图中，其轨迹线颜色和移动对象标识的对应关系显示在左上角。
通过拉动上方的小球，可以设定查询时段，通过勾选不同的显示开关，可以改变显示内容，针对底图，也可设定图源。还可“导出”当前结果至Shp。
关于如何操作地图，如缩放、平移、选择等，请点击地图控制按钮中的“?”。
这里特别需要说明的就是这个界面中的地图部分了，这是攻城狮开发的底层GIS控件，在该工具中得到了部分的展示，在今后将有更多展示，同时也欢迎狮友浏览大数据攻城狮的其它公众号文章，了解更多详情。
软件获取方法
在此文章下方，点击“喜欢作者”，并支付任意额度的费用（就不要自定义金额了，攻城狮不希望此项额度太多或太少），以获得工具下载地址。
关注公众号“大数据攻城狮”。
在公众号中，输入“xstar”，获得软件授权码
下载软件，首次运行，需要给出注册信息，如下：
!!!除了软件下载，你还可能在下载文件夹中看到难得的样本数据 > 10GB
关于有偿使用该软件的目的及说明
确认狮友是一个严肃的软件工具使用者。
部分承担软件工具网络存储与分发费用。
此项费用并非软件购买费用，因此攻城狮无义务保证软件可正常运行，但狮友的建议或意见会被攻城狮所认真考虑。
软件工具可能因任何原因而停用，攻城狮对此无责任和说明义务。
版权声明
该软件工具版权归属微信公众号“大数据攻城狮”所有，其仅可用于非商业用途，如有商业用途需求，请致信 bigdatalion@yeah.net。
大数据攻城狮
微信公众号：www_mapfuture_org
EMAIL：bigdatalion@yeah.net